查看原文
其他

快手基于Apache Flink的持续优化实践

董亭亭 大数据技术团队 2022-07-01


分享嘉宾:董亭亭 快手

编辑整理:大数据猫

出品平台:数据爱好者社区



导读:最近忙着天天晚上做梦都是干活,百忙之中也是抽空过来看看Flink一年一度的分享大会。整体看了一下,本次分享偏向于平台化支持,由于快手需要支持春晚和商业化,他们需要面临几个问题,
我重点梳理了一下。晚和快手商业化广告需要实时流高稳定:
  • 上游kafka双集群,双topic,如果上有一个topic故障了,如何让flink快速切换,快手做了source接入端的代码升级,二次开发,同时也在sink端做了二次开发

  • 故障动态感知,从分钟级降低到秒级

  • flink启动优化

  • flink的sql倾斜问题,udf函数复用



关注公众号回复:"资料",即可获得ClickHouse资料合集。




您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存